Foi originado do National Institute of Diabetes and Digestive and Kidney Diseases.
Essa base foi criada com base nos Pima, um grupo de nativos americanos que vivem em uma área que atualmente abrange o centro e o sul do estado do Arizona.
A base possui 768 observações e 9 colunas. O objetivo é classificar se um paciente tem diabetes com base em algumas características do paciente.
Descrição das colunas
Pregnancies: Número de gestações da paciente.
Glucose: Concentração de glicose plasmática em teste oral de tolerância à glicose.
SkinThickness: Espessura da dobra cutânea do tríceps (mm).
Insulin: Nível sérico de insulina (mu U/ml).
BMI: Índice de Massa Corporal (peso em kg / altura em m², IMC).
DiabetesPedigreeFunction: Histórico familiar de diabetes (mede a predisposição genética).
Age: Idade do paciente.
Outcome: 0 é não diabético e 1 é diabético.
Métricas utilizadas para avalização dos modelos
Métricas utilizadas para avalização dos modelos
ROC AUC
Acurácia
Brier Score: \(BS = \frac{1}{N}\sum_{t=1}^N\left(f_t - o_t\right)^2\). \(N\) é o tamanho da amostra classificada, \(f_t\) é a probabilidade predita e \(o_t\) é o valor observado.
Os dados foram divididos entre teste e treino, com 20% para o conjunto de teste e estratificado pela variável dependente.
Os valores ausentes foram substituídos pela mediana das variáveis.
Foram criadas novas variáveis, idade por nível de insulina, glicose por predisposição de ter diabetes e o produto entre IMC e a espessura da dobra cutânea do tríceps.
Todas as variáveis foram transformadas com \(\log \left(1 + x\right)\) e normalizadas com a função step_normalize.
autoplot(grid_results, metric ="roc_auc") +theme_bw() +labs(y ="Métrica", x ="")
autoplot(grid_results, select_best =TRUE) +theme_bw() +labs(y ="Métrica", x ="")
Algoritmos e validação cruzada
A validação cruzada foi realizada com 10 folds, estratificado pela variável dependente e foi criado um grid de 50 combinações entre os hiperparâmetros. Assim, foram otimizados hiperparâmetros do custo de complexidade, a quantidade de árvores, profundidades de árvores, a quantidade mínima de observações em cada folha e a quantidade de variáveis selecionadas aleatoriamente na Random Forest.
O modelo que obteve o melhor resultado foi o boosting, com base na curva ROC e o brier. Na base de teste, ele obteve um ROC AUC de 0,8641, a métrica de brier 0,1462 e obteve uma acurácia de 78,57%. O que pior perfomou foi o Bagging, obtendo as piores estatísticas para todas as métricas consideradas.
A precisão (69,6%) indica que quando o modelo prevê diabetes, cerca de 30% das vezes ele está errado (falsos positivos). \((39 / (39 + 17))\)
A sensibilidade (72,2%) indica que 27,8% dos indivíduos com diabetes são erroneamente classificados como saudáveis (falsos negativos). \((39/(39 + 15))\)
A especificidade (83%) mostra que o modelo é melhor para identificar quem não tem diabetes do que quem tem. \((83 / (83 + 17))\)